Merge pull request #2534 from jlebon/pr/copr

Add COPR integration Makefile

I'd like to enable auto-builds of this repo to
https://copr.fedorainfracloud.org/coprs/g/CoreOS/continuous/ so it could
eventually feed into
https://github.com/coreos/fedora-coreos-tracker/issues/910.

ci/make-git-snapshot.sh: xz the archive

This matches `make dist` and what the spec file expects.

ci/make-git-snapshot.sh: auto-initialize submodules

Matches `autogen.sh`.

ci/make-git-snapshot.sh: fix archive name

The archive name is libostree even though the project name is ostree, so
we can't rely on the directory name.

Just hardcode it.

ci/libbuild.sh: drop yum/CentOS support

`dnf` is present in all the platforms we care about now, and the CentOS
bit is out of date. We can re-add it if we add e.g. C[89]S support with
the updated list of packages.

Motivated by noticing that the `yum` symlink isn't always present.

Merge pull request #2533 from lucab/ups/commit-cleanup-assertions

lib/commit: clean up assertions

This aligns all the assertion in the module. In particular, it gets
rid of all `g_return_val_if_fail` instances which may fail without
properly setting GError to the caller.

Merge pull request #2530 from smcv/update-libglnx-2525

Update libglnx submodule

Update submodule: libglnx

Resolves: https://gitlab.gnome.org/GNOME/libglnx/-/issues/3
Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2529 from smcv/static-delta-error-unwind

libotutil: Avoid infinite recursion during error unwinding

libotutil: Avoid infinite recursion during error unwinding

When we clean up from an error, for example copy_file_range() failing
while we generate a static delta (perhaps caused by
https://gitlab.gnome.org/GNOME/libglnx/-/issues/3 or by a
genuine write error), we might free a variant builder that has a
non-null parent. Previously, this caused infinite recursion and a stack
overflow, repeatedly freeing the same object, but Luca Bruno suggested
that the intention here appears to have been to free the parent object.

Partially resolves https://github.com/ostreedev/ostree/issues/2525
(the other bug reported in that issue needs to be resolved by updating
libglnx to a version where libglnx#3 has been fixed).

Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2524 from jlebon/pr/unlink-lock

lib/deploy: When deleting staged deployment, delete any lock

tests/kolainst: Avoid recursive symlinks

`kola` now follows symlinks when archiving an external test's `data/`
dir. So the recursive `data` symlink we have here breaks it.

Let's just move the shared files in its own directory and update the
symlinks.

Merge pull request #2526 from lucab/ups/openat-load-xattrs

lib/repo: open file only if required

lib/repo: open file only if required

This tightens up the logic for opening a file while inspecting its
xattrs. The only codepath fetching xattrs from a FD is the one
handling 'bare' mode.
It also rearranges the else-assert flow, mostly for future-proofing.

ostree/deploy: Test finalization locking

Support for that file was added previously, but the testing lived in
rpm-ostree only. Let's add it here too.

In the process add a hidden `--lock-finalization` to `ostree admin
deploy` to make testing easier (though it could also be useful to update
managers driving OSTree via the CLI).

lib/deploy: When deleting staged deployment, delete any lock

Otherwise, any future staged deployment will also automatically be
locked even if not requested. Likely we should fold the locking into the
primary `staged-deployment` serialized GVariant instead.

Merge pull request #2523 from lucab/ups/ls-gcancellable-gerror

builtin: use GCancellable and GError everywhere

builtin: use GCancellable and GError everywhere

This reworks `ostree ls` top-level logic so that cancellation
tokens and error details are plumbed through all codepaths.
It also gets rid of all previous goto jumps.

Merge pull request #2521 from cgwalters/syncfs-only-log

deploy: Also log to journal if we time out global sync()

deploy: Also log to journal if we time out global sync()

We do implicitly have this data because we log timings via structured
metadata in a later journal entry, but it's quite common to lose
the structured metadata because a lot of tooling just grabs the default
syslog-compatible text from `journalctl`.

Let's be louder when we hit this case as a general rule too; I think
most people shipping ostree systems want to see if it's happening.

Merge pull request #2520 from lucab/ups/builtin-commit-reject-empty-metadata

lib/commit: reject empty metadata keys

lib/commit: reject empty metadata keys

This adds one more check to the metadata validation logic in order
to reject empty metadata keys.

lib/commit: always validate metadata

This tweaks commit logic in order to always validate metadata,
including on commits where the expected checksum is already known.

Merge pull request #2519 from cgwalters/syncfs-only

deploy: Add a 5s max timeout on global filesystem `sync()`

deploy: Add a 5s max timeout on global filesystem `sync()`

https://bugzilla.redhat.com/show_bug.cgi?id=2003532

Basically there's a systemd bug where it's losing the `_netdev`
aspect of Ceph filesystem mounts.  This means the network is taken
down before Ceph is unmounted.  In turn, our invocation of `sync()`
blocks on Ceph, which won't succeed.

And this in turn manifests as a failure to transition to the new
deployment.

I initially did this patch to just rip out the global `sync()`.  I
am pretty sure we don't need it anymore.  We've been doing individual
`syncfs()` on `/sysroot` and `/boot` for a while now, and those
are the only filesystems we should be touching.  But *proving* that
is a whole other thing of course.

To be conservative, let's instead just add a timeout of 5s on
our invocation of `sync()`.  It doesn't return any information on
success/error anyways.

To allow testing without the `sync()` invocation, we also support
a new `OSTREE_SYSROOT_OPT_SKIP_SYNC=1` environment variable.  For
staged deployments, this needs to be injected via e.g. systemd unit
overrides into `ostree-finalize-staged.service`.

Implementing this is a bit hairy - we need to spawn a thread.  I
debated blocking in arecursive mainloop, but I think `g_cond_wait_until()`
is also fine here.

Merge pull request #2517 from dbnicholson/ubuntu-seccomp

github: Workaround glib/seccomp issue on Ubuntu impish

github: Workaround glib/seccomp issue on Ubuntu impish

The ubuntu-latest VMs are currently based on 20.04 (focal). In focal,
libseccomp2 doesn't know about the close_range syscall[1], but
g_spawn_sync in impish tries to use close_range since it's defined in
glibc. That causes libseccomp2 to return EPERM as it does for any
unknown syscalls. g_spawn_sync carries on silently instead of falling
back to other means of setting CLOEXEC on open FDs. Eventually it causes
some tests to hang since once side of a pipe is never closed. Remove
this when libseccomp2 in focal is updated or glib in impish handles the
EPERM better.

1. https://bugs.launchpad.net/ubuntu/+source/libseccomp/+bug/1944436

Fixes: #2495

Merge pull request #2516 from cgwalters/define-ostree-booted

sysroot: Add a public `#define OSTREE_PATH_BOOTED`

This is public API.  Motivated by
https://github.com/coreos/rpm-ostree/pull/3325/files#diff-56528694f6f3213d6fb88d872f77291412dceec263b57166519843b13eca9a4dR30

Merge pull request #2514 from lucab/ups/drop-setenv

libostree/sepolicy: get rid of a g_setenv() call

Merge pull request #2515 from cgwalters/cliwrap-lib

main: Also support CLI extensions in `/usr/libexec/libostree/ext`

main: Also support CLI extensions in `/usr/libexec/libostree/ext`

In fixing https://github.com/coreos/rpm-ostree/pull/3323
I felt that it was a bit ugly we're installing `/usr/bin/ostree-container`.

It's kind of an implementation detail.  We want users to use
`ostree container`.

Let's support values outside of $PATH too.

For example, this also ensures that TAB completion for `ost` expands
to `ostree ` with a space.

libostree/sepolicy: get rid of a g_setenv() call

This removes a 'g_setenv()' call, which could potentially be unsafe
in a multi-thread context.
The current libselinux codebase does not seem to check for
`LIBSELINUX_DISABLE_PCRE_PRECOMPILED`, so I think this has no effects
nowadays.
Additionally, I could not find any reference to it in libselinux
git history, so I'm not sure if it ever played any role at all.

My current understanding is that this is coming from version
incompatibilities between an older libselinux in the build environment
and a newer policy (with precompiled regexs) in the target.
But from the ML discussion I found, I think it eventually got
solved in a different way, possibly by avoiding the policy binary
caches.

Refs:
 * https://www.spinics.net/lists/selinux/msg14822.html
 * https://github.com/ostreedev/ostree/pull/2513#discussion_r781042884

Merge pull request #2513 from lucab/ups/setenv-error

ostree: check g_setenv return value

ostree: check g_setenv return value

This adds proper return-value checks on g_setenv calls.
It fixes a static analysis warning highlighted by Coverity.

Merge pull request #2512 from lucab/ups/variant-builder-error-memleak

libotutil: avoid leaking builder memory on error

libotutil: avoid leaking builder memory on error

This swaps the order of a couple of input sanity checks, in order
to fix a minor memory leak due to an early-return on the error
path.
Memory for the result is now allocated only after input has been
sanity-checked.
It fixes a static analysis warning highlighted by Coverity.

Merge pull request #2509 from ostreedev/release-2022.1

Release 2022.1

configure: post-release version bump

Release 2022.1

Merge pull request #2506 from lucab/ups/dependabot-config

github: add dependabot config

github: add dependabot config

This adds a configuration file for dependabot, taking care of automatic
updates for all git submodules.

Merge pull request #2376 from smcv/fuse3

rofiles-fuse: Build using FUSE 3 if possible, falling back to FUSE 2

rofiles-fuse: Build using FUSE 3 if possible, falling back to FUSE 2

This adds build-time configuration logic to automatically detect
and switch between libfuse 2.x and 3.x.

Signed-off-by: Simon McVittie <smcv@collabora.com>
Co-authored-by: Luca BRUNO <luca.bruno@coreos.com>

Merge pull request #2505 from lucab/ups/bsdiff-error-throw

lib/static-delta: throw a proper error on bspatch failure

Merge pull request #2504 from lucab/ups/bsdiff-CVE-2014-9862

bsdiff: bump submodule, pick up fix for CVE-2014-9862

lib/static-delta: throw a proper error on bspatch failure

This makes sure that a populated GError is returned when bsdiff
patching fails. The human-friendly label also helps in debugging.

bsdiff: bump submodule, pick up fix for CVE-2014-9862

This updates the bsdiff submodule to latest upstream revision, in
order to pick up additional bound checks for CVE-2014-9862.

Update submodule: bsdiff
Ref:
 * https://www.x41-dsec.de/lab/advisories/x41-2020-006-bspatch/

Merge pull request #2503 from lucab/ups/libostree-content-writer-header

lib: use ostree-content-writer header

lib: use ostree-content-writer header

This installs and exposes the content of `ostree-content-writer.h`,
so that library consumers can properly reference symbols defined
in that header.

Merge pull request #2502 from cgwalters/analyzer

two minor clang-analyzer fixes

tests: Fix clang-analyzer not seeing through `g_error()`

Basically due to the glib structured logging rework we lost the
`noreturn` attribute on `g_error()`.
This is fixed in glib as of https://gitlab.gnome.org/GNOME/glib/-/commit/f97ff20adf4eb7b952dd83e2c13046fe9e282f50

But we might as well just throw an error here.

soup-uri: Fix clang-analyzer warning by dropping dead code

Fixes `Argument with 'nonnull' attribute passed null` by making
the code not exist at all anymore.

In upstream libsoup this code is gone too; it uses `GUri` from glib
which we probably could now too, but one thing at a time.

Merge pull request #2501 from lucab/ups/test-cli-extensions-tweak

tests/cli-extensions: tweak test logic

tests/cli-extensions: tweak test logic

This updates the test logic for CLI extensions, actually checking
for functional output from the subcommand.
It also cleans up some environmental leftover.

Merge pull request #2500 from lucab/ups/cli-extensions

main: add support for CLI extensions via external binaries

main: add support for CLI extensions via external binaries

This adds some logic to detect and dispatch unknown subcommands to
extensions available in `$PATH`. Additional commands can be
implemented by adding relevant `ostree-$verb` binaries to the system.

As an example, if a `/usr/bin/ostree-extcommand` extension is provided,
the execution of `ostree extcommand --help` will be dispatched to that
as `ostree-extcommand extcommand --help`.

Merge pull request #2498 from lucab/ups/test-assert-strings

tests: assert mandatory values are present

tests: assert mandatory values are present

This adds a couple of string assertions to make sure that
the test run is sane.

Merge pull request #2496 from lucab/ups/repo-asserts

lib/repo: fix problematic invariant checks

Merge pull request #2494 from jmarrero/fsf-address

Update FSF license notices to use URL instead of address

lib/repo: do no return a NULL on failure

This turns an existing check into an assert. The previously returned
NULL may result in confusing callers, as none of them is checking for
that.

lib/repo: do no return an arbitrary mode on failure

This turns the existing check into an assert. Otherwise, the previous
code may return an arbitrary repo mode (bare) on failure.

lib/repo: assert that writable state and error agree

This adds an assertion to check that writable stable and error
are in sync. The subsequent logic uses them interchangeably.

Update FSF license notices to use URL instead of address

Merge pull request #2493 from cgwalters/summary-lock-shared

repo: Change locking for summary regeneration to be shared

repo: Change locking for summary regeneration to be shared

This is trying to address:
https://pagure.io/fedora-iot/issue/48

Basically we changed rpm-ostree to start doing a shared lock during
commit by default, but this broke because pungi is starting a process
doing a commit for each architecture, and then trying to regenerate
the summary after each one.

This patch is deleting a big comment with a rationale for why
summary regeneration should be exclusive.  Point by point:

> This makes sure the commits and deltas don't get
> deleted while generating the summary.

But prune operations require an exclusive lock, which means that
data still can't be deleted when the summary grabs a shared lock.

> It also means we can be sure refs
> won't be created/updated/deleted during the operation, without having to
> add exclusive locks to those operations which would prevent concurrent
> commits from working.

First: The status quo *has* prevented concurrent commits from working!

There is no real locking solution to this problem. What we really
need to do here is regenerate the summary after each commit *or*
when the caller decides to do it and e.g. include deltas at the same
time.

It's OK if multiple threads race to regenerate the summary;
last-one-wins behavior here is totally fine.

Merge pull request #2490 from lucab/ups/static-fixes

lib: misc static analysis fixes

This fixes a few warnings from coverity, none of which really
interesting.

Merge pull request #2489 from ostreedev/release-2021.6

Release 2021.6

configure: post-release version bump

Release 2021.6

Merge pull request #2486 from jlebon/pr/remount-ostree

app: Only remount /sysroot if needed

app: Only remount /sysroot if needed

We should only try to remount `/sysroot` if we're actually handling the
sysroot repo and the repo isn't writable. We already have public APIs to
check each of those, so let's use them.

Closes: #2485

Merge pull request #2484 from dbnicholson/prune-serialize

lib/prune: Avoid unnecessary object serialization

lib/prune: Avoid unnecessary object serialization

`repo_prune_internal` was deserializing each object and passing the
components to `maybe_prune_loose_object`, which promptly reserialized
it.

Merge pull request #2481 from refi64/null-error

lib: Avoid dereferencing NULL error values

lib: Avoid dereferencing NULL error values

Otherwise, this will segfault when callers don't need any exact errors.

Signed-off-by: Ryan Gonzalez <ryan.gonzalez@collabora.com>

Merge pull request #2479 from cgwalters/ci-capsh

ci: Require `libcap2-bin` for `capsh`

Merge pull request #2477 from ratajs/patch-1

Add Fedora Kinoite link

Merge pull request #2476 from valentindavid/valentindavid/glib-fix

lib: Fix a bad call to g_file_get_child

ci: Require `libcap2-bin` for `capsh`

This was previously pulled in indirectly, but it looks like we need
to require it explicitly in newer Ubuntu.

Merge branch 'ostreedev:main' into patch-1

Merge pull request #2187 from cgwalters/sysroot-ro-initramfs

prepare-root: Set up sysroot readonly in initramfs

lib: Fix a bad call to g_file_get_child

In Glib, since commit 3a6e8bc8876e149c36b6b14c6a25a718edb581ed,
`g_file_get_child` does not accept absolute path as paramater anymore.

The broken assertion was encountered during `ostree admin deploy`
command for the checkout of subpath `etc`.

Example of error log:
```
(ostree admin deploy:1640): GLib-GIO-CRITICAL **: 03:42:00.570: g_file_get_child: assertion '!g_path_is_absolute (name)' failed

(ostree admin deploy:1640): GLib-GIO-CRITICAL **: 03:42:00.570: g_file_query_info: assertion 'G_IS_FILE (file)' failed
**
OSTree:ERROR:src/ostree/ot-main.c:232:ostree_run: assertion failed: (success || error)
Bail out! OSTree:ERROR:src/ostree/ot-main.c:232:ostree_run: assertion failed: (success || error)
```

Added Fedora Kinoite link

prepare-root: Set up sysroot readonly in initramfs

Let's ensure things are right from the start in the initramfs;
this closes off various race conditions.  Followup to
https://github.com/ostreedev/ostree/pull/2113/commits/35642259175973617da937f3cab6ce5f13c95077

Closes: https://github.com/ostreedev/ostree/issues/2115

Merge pull request #2475 from lucab/ups/prepare-root-check-first

prepare-root: check for read-only sysroot status early on

prepare-root: check for read-only sysroot status early on

This moves read-only sysroot checks upfront, so that they are not
intermixed with mount operations.
It has no immediate side-effects, but allow these check to be
independent from the rest of the mounting logic (and future changes
to it).

Merge pull request #2472 from lucab/ups/prepare-root-checked-printf

Merge pull request #2473 from lucab/ups/prepare-root-less-global-mutable-state

prepare-root: get rid of a global variable

This moves a global mutable variable to a smaller local scope,
as it is not really used outside of that.

prepare-root: check return codes for errors when assembling paths

This adds checks around all `snprintf` calls in order to detect
failures and gracefully abort.

Merge pull request #2471 from lucab/ups/prepare-root-silent-mounts

prepare-root: make all mount operations silent

prepare-root: make all mount operations silent

This adds a `MS_SILENT` flag to all `mount(2)` calls, reducing the
amount of kernel logs produced on each boot.
Those messages do not contain actionable details, and in the "mount
plus read-only remount" case they can easily become highly redundant.

Merge pull request #2468 from lucab/ups/tests-var-mount

tests/var-mount: tweak test setup

tests/var-mount: tweak test setup

This reworks the var-mount destructive test in order to properly use
the datadir for the current stateroot instead of a duplicated one.
In turn, it ensures that the resulting `var.mount` after reboot is
correctly pointing to the same location which hosted `/var` on the
previous boot.

Merge pull request #2466 from cgwalters/ci-fanalyzer

ci: Enable -fanalyzer